1
Dinamiche del Caso e dell'Informazione
MATH005Lesson 9
00:00
Immagina un mondo in cui il futuro non è un percorso fisso, ma una splendente ragnatela di possibilità. Per padroneggiare le Dinamiche del Caso significa colmare il divario tra l'evoluzione stocastica — come i sistemi si muovono da uno stato all'altro — e la misurazione della "novità" o della sorpresa intrinseca a tali transizioni.

1. L'Architettura delle Transizioni di Stato

Considera la logica del tempo. Se assumiamo che la pioggia di oggi sia l'unico fattore che influisce sul domani, entriamo nel regno delle dinamiche markoviane. Questo è elegantemente rappresentato in ESERCIZIO 2a:

Supponiamo che pioverà domani solo se piove oggi. Se piove oggi, la probabilità che piova domani è $\alpha$; altrimenti, è $\beta$.

Questo crea una matrice di transizione $P$ con cui possiamo calcolare il flusso di probabilità futuro utilizzando l' Identità di Chapman-Kolmogorov:

$$P_{ij}^{(2)} = \sum_{k=0}^{M} P_{kj}P_{ik}$$

2. Il Ritmo dell'Arrivo

Il caso non riguarda soltanto dove andiamo, ma quando gli eventi accadano. In un processo di Poisson, tracciamo gli arrivi discreti (come terremoti o decadimento radioattivo) nel tempo.

  • Tempi tra gli Arrivi: Per un processo di Poisson, indichiamo con $T_1$ il tempo in cui avviene il primo evento. Per $n > 1$, indichiamo con $T_n$ il tempo trascorso tra il $(n-1)$-esimo e l'$n$-esimo evento.
  • Stazionarietà: La sequenza $\{T_n, n=1, 2, \ldots\}$ è composta da variabili esponenziali indipendenti, determinate dal tasso $\lambda$.

3. Informazione come Riduzione della Sorpresa

La teoria dell'informazione, fondata da Claude Shannon, misura l'incertezza. Si basa su una fondamentale struttura algebrica, specificamente Assioma 4:

Assioma 4: $S(pq) = S(p) + S(q)$ per $0 < p \le 1, 0 < q \le 1$

Questo assioma implica che la sorpresa di due eventi indipendenti è la somma delle loro sorprese individuali, portando direttamente alla definizione di Entropia di Shannon:

$$H(X) = -\sum_{i=1}^n p_i \log_2(p_i)$$

🎯 Principio Chiave
Le dinamiche definiscono le regole del gioco (probabilità di transizione), mentre l'entropia misura quanto impariamo giocando veramente (guadagno informativo). Se $\alpha=1$ e $\beta=1$ nel nostro modello meteorologico, il sistema è deterministico; l'entropia è zero perché la "notizia" non apporta nuova informazione.